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Устойчивье признаки изображения для идентификации 
конфигурации руки в украйнском жестовом язьтке 


В статті розглядається задача ідентифікації на зображенні конфігурації руки для української жестової 
мови. Запропоновано для розв'язку цієї задачі використовувати метод Зреедед Юр Кобиз5і Кеаїигез (5 КЕ), 
оскільки він є одним з найбільш ефективних і швидких сучасних алгоритмів. Отримані експериментальні 
результати показали досить високу ефективність методу для ідентифікації дактильних знаків. 
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В статье рассматриваєтся задача идентификации на изображений конфигурации руки для украинского 
жестового язька. Предложено для решения зтой задачи использовать метод Зреедедй Юр Коби5і Кеаїгеє 
(ЗОВ), так как он есть одним из наиболее зффективньтх и бьютрьгтх современньх алгоритмов. Полученнье 
зкспериментальньте результатьт показали достаточно вьтсокую зффективность метода для идентификациий 
дактильньіх знаков. 

Ключевьге слова: распознавание жестов, идентификация жеста. 


Вступ 


Задача розпізнавання образів до цього часу не вирішена в повному обсязі. Проте, в 
рамках істотних обмежень, є методи, що дозволяють наблизиться до її вирішення. Серед 
різних споріднених методів заслуговує на увагу метод Зреедеа Юр Коби5зі Кеаїигез (50 ВЕ), 
оскільки він є одним з найбільш ефективних і швидких сучасних алгоритмів | 1). 

Розглядаючи задачу ідентифікації на зображенні конфігурації руки для української 
жестової мови, можна виділити ряд моментів, врахування яких важливе для успішного 
розв'язку: 1) масштаб -- зображення мають різний масштаб, тобто предмети, які сприй- 
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маються як однакові, насправді займають різну площу на різних зображеннях; 2) ло- 
калізація - об'єкт може знаходитися в різних місцях зображення; 3) фон 1 шуми -- 
предмет, який сприймається як щось окреме, на зображенні ніяк не виділений, і зна- 
ходиться на тлі інших предметів; 4) проекція, обертання і кут зору - зображення є 
лише двовимірною проекцією тривимірного світу, тому поворот об'єкта 1 зміна кута 
зору загалом можуть кардинальним чином впливати на його двовимірну проекцію. 
Метою даної роботи є визначення з двох зображень (одне з них вважається зразком 
і містить можливі конфігурації руки при показі дактильної абетки, інше вважається 
сценою 1 містить руку з конфігурацією конкретного знака) факту наявності конкретного 
зразка на сцені і його локалізації. При цьому потрібно врахувати означені вище моменти. 


Метод пошуку та опису особливих точок 
зображення 50ВБЕ 


Основна ідея методу 5 /АЕ полягає у виділенні на зразку певних ключових точок 1 
невеликих ділянок навколо них. Ключовою точкою вважається така точка, яка має певні 
ознаки, які істотно відрізняють її від основної маси точок. Наприклад, це можуть бути 
краї ліній, невеликі кола, різкі перепади освітленості, кути тощо. Припускаючи, що клю- 
чові точки присутні на зразку завжди, можемо пошук зразка звести до пошуку на сцені 
ключових точок зразка. А оскільки ключові точки сильно відрізняються від основної 
маси точок, то їх кількість буде істотно менше, ніж загальна кількість точок зразка. У 
цілому, принцип вибору ключових точок не важливий, головне що б їх було не дуже 
багато і вони були присутні на зображенні зразка завжди. 

Невеликі ділянки навколо ключових точок потрібні для наступного. Чим менше 
ділянка, тим менше на неї впливають великомасштабні спотворення. Так, якщо об'єкт у 
цілому, піддається ефекту перспективи (тобто ближній край об'єкта має більший 
видимий розмір, ніж далекий), то для малої ділянки явищем перспективи можна знех- 
тувати і замінити на зміну масштабу. Аналогічно, невеликий поворот об'єкта навколо 
деякої осі може сильно змінити картинку об'єкта в цілому, але малі ділянки зміняться 
трохи. Крім того, якщо частина об'єкта виходить за край зображення або закрита, то не- 
великі ділянки навколо частини ключових точок будуть видні повністю, що також до- 
зволяє їх легше ідентифікувати. А ще, якщо малі області лежать цілком усередині 
шуканого об'єкта, то на них не мають жодного впливу об'єкти фону. З іншого боку, 
ділянка навколо ключової точки не повинна бути занадто малою. Дуже малі ділянки 
несуть занадто мало інформації про зображення й з більшою ймовірністю можуть ви- 
падково співпадати між собою. 

Метод 5ОЖЕ вирішує два завдання - пошук особливих точок зображення -- створен- 
ня їх дескрипторів, інваріантних до масштабу і обертання. Це означає, що опис ключової 
точки буде однаковий, навіть якщо зразок змінить розмір і буде повернений (тут і далі ми 
будемо говорити тільки про обертання у площині зображення). Крім того, сам пошук 
ключових точок теж повинен мати інваріантність так, щоб повернутий об'єкт сцени мав 
той же набір ключових точок, що і зразок. 

Метод шукає особливі точки за допомогою матриці Гессе. Детермінант матриці 
Гессе (гессіан) досягає екстремуму в точках максимальної зміни градієнта яскравості. 
Він добре детектує плями, кути і краї ліній. Гессіан інваріантний щодо обертання, 
але не інваріантний до масштабування. Тому 5 КЕ використовує різномасштабні фільтри 
для знаходження гессіанів. Для кожної ключової точки обраховується напрямок 
максимальної зміни яскравості (градієнт) і масштаб, взятий з масштабного коефіцієнта 
матриці Гессе. Градієнт в точці обчислюється за допомогою фільтрів Хаара. 
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Після знаходження ключових точок, 5О0ЖКЕ формує їх дескриптори. Дескриптор -- це 
набір з 64 (або 128) чисел для кожної ключової точки. Ці числа відображають флуктуації 
градієнта навколо ключової точки. Оскільки ключова точка є максимумом гессіана, то це 
гарантує, що в околиці точки мають бути ділянки з різними градієнтами. Таким чином, 
забезпечується дисперсія (відмінність) дескрипторів для різних ключових точок. 

Флуктуації градієнта околиць ключової точки обраховуються щодо напрямку гра- 
дієнта навколо точки в цілому (по всій околиці ключової точки). Таким чином, досягаєть- 
ся інваріантність дескриптора щодо обертання. Розмір області на якій обраховується 
дескриптор, визначається масштабом матриці Гессе, що забезпечує інваріантність щодо 
масштабу. Флуктуації градієнта також обраховуються з допомогою фільтра Хаара. 

Для ефективного обчислення фільтрів Гессе і Хаара - використовується інтегральне 
подання зображень. Інтегральне подання є матрицею, розмірність якої співпадає з розмір- 
ністю вихідного зображення, а елементи обраховуються за формулою: 


ї«х,) ху 
Цх,у)- У о, і), (1) 
і-0, і-0 
де Ці, 7) - яскравість пікселів вхідного зображення. 
Маючи інтегральну матрицю можна дуже швидко обчислювати суму яскравостей 
пікселів довільних прямокутних областей зображення, за формулою: 
ЗитоОКес (АВСР)-ША)-НОВ)-П(С)-НО), (2) 
де АВС - прямокутник, який нас цікавить. 
Виявлення особливих точок у 5ОВЕ базується на обчисленні детермінанта гессіана. 
Матриця Гессе для двовимірної функції та її детермінант визначається наступним чином: 
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Значення гессіана використовується для знаходження локального мінімуму або 
максимуму яскравості зображення. У цих точках значення гессіана досягає екстремуму. 

Зазвичай, обчислення матриці Гессе зводиться до знаходження лапласіана Гауссіа- 
на. По суті елементи матриці Гессе обчислюються як згортка (сума добутків) пікселів 
зображення на спеціальні фільтри (рис. 1). Однак 50ВКЕ не використовує лапласіан 
гауссіана в тому вигляді, який зображений на рис. 1. По-перше, за твердженням авторів 
методу (1), дискретизований лапласіан гауссіана має досить великий розкид значень 
детермінанта при обертанні зразка (нагадаємо, що в ідеалі гессіан має бути інваріантним 
до обертання). Особливо детермінант «просідає» в районі повороту на 45 градусів. По- 
друге, і це головне, фільтр для лапласіана гауссіана має неперервний характер. Майже всі 
пікселі фільтра мають різні величини яскравості. А це не дозволяє ефективно використо- 
вувати такий потужний механізм розрахунку, як інтегральну матрицю зображення. Тому 
ЗОВЕ використовує бінарізовану апроксимацію лапласіана гауссіана (Казі-Неззіап) (рис. 2): 


ку, 


Рисунок 1 - Фільтр для звичайного Рисунок 2 - Фільтр для обчислення Ка5зі- 
обчислення матриці Гесе Неззіап 
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Цей фільтр більш стійкий до обертання і його можна ефективно обчислити за 
допомогою інтегральної матриці. Таким чином, в 5ОВЕ гессіан обчислюється так: 


чаН ух) Є 9.0, - (0.9, 5, (4) 


В у Ду - ЗГортки по фільтрах, зображених на рис. 2. Коефіцієнт 0.9 має 


хх уу» 


арргох ) 
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теоретичне обгрунтування, і коригує наближений характер обчислень. 

Отже, для знаходження особливих точок, 5(/ВЕ пробігає по пікселях зображення 1 
шукає максимум гессіана. У методі задається порогове значення гессіана. Якщо обчи- 
слене значення для пікселя вище порога - піксель розглядається як кандидат на ключову 
точку. Оскільки гессіан є похідною, і залежить тільки від перепаду яскравості, а не від 
абсолютного її рівня, то він інваріантний по відношенню до зсуву яскравості зображення. 
Таким чином, зміна рівня освітлення зразка не впливає на виявлення ключових точок. 
Крім того, властивості гессіана такі, що він досягає максимуму, як в точці білої плями на 
чорному тлі, так 1 чорної плями на білому тлі. Таким чином, метод виявляє і темні, 1 світлі 
особливості зображення (рис. 3). 

Як вже зазначалося, гессіан не інваріантний відносно масштабу. Це означає, що для 
одного і того ж піксела, гессіан може змінюватися при зміні масштабу фільтра. 
Вирішення цієї проблеми тільки одне - перебирати різні масштаби фільтрів 1 по черзі їх 
застосовувати до даного піксела. З міркувань симетрії 1 дискретизації, розмір фільтра Ка5і- 
Незбіап не може приймати довільні значення. Допустимі розміри цього фільтра такі (по- 
чинаючи з мінімального): 9, 15, 21, 27 і так далі, з кроком 6. Однак, на практиці, по- 
ступово збільшувати розмір фільтра на 6 не доцільно, тому-що для великих масштабів 
крок 6 виявляється занадто дрібним, а фільтри - надмірними. Тому (і з деяких інших 
причин), ЗО0ВЕ розбиває безліч масштабів на так звані октави. Кожна октава покриває 
певний інтервал масштабів і має свій характерний розмір фільтра. При цьому якщо б на 
октаву припадав лише один фільтр, це було б занадто грубим наближенням. Крім того, не 
можна було б знайти локальний максимум гессіана серед різних масштабів у різних 
октавах. Адже одна і та ж точка може мати декілька локальних максимумів гессіана в 
різних масштабах. 

Якщо шукатимемо максимум серед усіх гессіанів по всіх масштабах, то знайдемо 
тільки один з максимумів, у той час як їх може бути декілька. Один - в одному 
масштабі, інший -- в іншому. Виходячи з перерахованого, октава містить не один фільтр, 
а чотири фільтри, які добре покривають характерний масштаб октави (рис. 4). 
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Рисунок 4 - Перші три октави 
методу 5О0ВЕ. Цифри 
в прямокутниках показують розмір 
фільтра Ба58і-Незбзіап. Логарифмічна 
шкала знизу - показує масштаби, 
що покриваються октавами 


Рисунок 3 - Метод розпізнає як світлі точки 
на темному фоні, так і темні точки на 
світлому фоні 
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Крок розміру фільтра у першій октаві складає 6, у другій - 12, у третій - 24 тощо. Як 
бачимо, октави значно перекриваються одна одною. Це збільшує надійність знаходження 
локальних максимумів. Теоретично, масштаби нескінченні, проте в реальних зображеннях, 
вони цілком скінченні і основна маса зосереджена в інтервалі від І до 10 (за даними |1|). 
Для покриття цього діапазону достатньо чотирьох октав. Плюс додається одна або дві 
октави для покриття більших масштабів. Разом використовується 5 - 6 октав. Теоретично 
цього досить для покриття всіх масштабів на зображенні 1024х763пікселів. 

Для знаходження локального максимуму гессіана використовується метод сусідніх 
точок 3х3Х3. Його сенс зрозумілий з рис. 5. 

Для інваріантності обчислення дескрипторів особливої точки потрібно визначити 
переважаючу орієнтацію перепадів яскравості в особливій точці. Це поняття близьке до 
поняття градієнта, але 5 ЖЕ використовує трохи інший алгоритм знаходження вектора 
орієнтації. Спочатку, обчислюються точкові градієнти в пікселах, сусідніх з особливою 
точкою. Для розгляду беруться пікселі в кола радіусу 65 навколо особливої точки, де 5 - 
масштаб особливої точки. Для першої октави беруться точки з околу радіусу 12. Для об- 
числення градієнта, використовується фільтр Хаара, вигляд яких зображено на рис. б. 
Розмір фільтра береться рівним 45. 


Рисунок 5 - Піксел, позначений хрестиком Рисунок 6 - Фільтри Хаара. 
вважається локальним максимумом, якщо Чорні області мають значення -І, 
його гессіан більше ніж у будь-якого його білі 41 


сусіда в його масштабі, а також більше 
будь-якого із сусідів масштабом менше і 
масштабом більше (всього 26 сусідів) 


Фільтри Хаара дають точкове значення перепаду яскравості по осям Х і У 
відповідно. Оскільки фільтри Хаара мають прямокутну форму, їх значення легко об- 
числюються за допомогою інтегральної матриці. Для розрахунку одного фільтра довіль- 
ного розміру потрібно всього 6 операцій. Значення вейвлета Хаара АХ 14У для кожної 
точки множаться на вагу і запам'ятовуються у масиві. Вага визначається як значення 
гауссіана з центром в особливій точці і сигмою рівною 25. Зважування на гауссіані не- 
обхідно для відсікання випадкових перешкод на далеких від особливої точки від- 
станнях. Далі всі знайдені значення «4Х і 4У умовно наносяться у вигляді точок на 
площину, як показано на рис. 7. 

Наступним кроком береться кутове вікно розміром л/3, і обертається навколо 
центру координат. Вибирається таке положення вікна, при якому довжина сумарного 
вектора для точок, що потрапили у вікно - максимальна. Обчислений таким чином 
вектор нормується 1 приймається як пріоритетний напрямок в області особливої 
точки. Маніпуляції з вікном потрібні для зменшення впливу точок-шумів. На рис. 8 
приведений приклад градієнта при ідеальному краї і при краї з шумами. Як бачимо, 
шум дає додаткові градієнти в напрямках, які не збігаються з напрямом основного 
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градієнта. Використання вікна дозволяє відсікти такі точки-шуми 1 більш точно обчисли- 
ти справжній градієнт. Відзначимо, що не завжди потрібна інваріантність дескрипторів 
щодо обертання. Метод 50 ЖЕ має модифікацію в якій орієнтація особливих точок не 
розраховується. Така модифікація дозволяє надійно ідентифікувати точки, повернені не 
більше ніж на З 15 градусів. 


б 
Ф 
о 
| 2. І Я 
| 2 
Р - С 
Рисунок 7 - Знайдені градієнти у Рисунок 8 - Приклад градієнта при 
вигляді точок у просторі аХа У ідеальному краї і при краї з шумами 


Дескриптор - це масив з 64 (у розширеній версії 128) чисел, що дозволяють 
ідентифікувати особливу точку. Дескриптори однієї і тієї ж особливої точки на зразку і 
на сцені мають приблизно збігатися. Метод розрахунку дескриптора такий, що він не 
залежить від обертання 1 масштабу. Для обчислення дескриптора, навколо особливої точки 
формується прямокутна область, що має розмір 205, де 5 - масштаб в якому була знай- 
дена особлива точка. Для першої октави, область має розмір 40х40 пікселів. Квадрат 
орієнтується уздовж пріоритетного напрямку, обчисленого для особливої точки. Дес- 
криптор розраховується як опис градієнта для 16 квадрантів навколо особливої точки. 
Цей квадрат розбивається на 16 дрібніших квадрантів (рис. 9). У кожному квадраті 
береться регулярна сітка 5х5 і для точки сітки шукається градієнт, за допомогою 
фільтра Хаара. Розмір фільтра Хаара береться рівним 25, і для першої октави становить 
Дх4, Слід зазначити, що при розрахунку фільтра Хаара, зображення не повертається, 
фільтр обчислюється в звичайних координатах зображення, а отримані координати 
градієнта (4ІХ, 4У) повертаються на кут, відповідний орієнтації квадрата. Разом, для 
обчислення дескриптора особливої точки, потрібно обчислити 25 фільтрів Хаара в 
кожному з 16 квадрантів. Разом 400 фільтрів Хаара. Враховуючи що на фільтр потрібно 6 
операцій, виходить, що дескриптор обійдеться мінімум в 2400 операцій. Після зна- 
ходження 25 точкових градієнта квадранта, обчислюються чотири величини, які власне 1 
є компонентами дескриптора: 54Х, У4Х|, У4У, У 4У,. Дві з них є просто сумарний 
градієнт по квадранту, а дві інших -- сума модулів точкових градієнтів. На рис. 10 показана 
поведінка цих величин для різних ділянок зображення. Для рівномірних ділянок - всі 
значення близькі до нуля. Для вертикальних полос, що повторюються - всі величини, 
крім другої близькі до нуля. При збільшені яскравості у напрямку осі Х, дві перші 
компоненти мають більші значення. 

Чотири компоненти на кожний квадрант і 16 квадрантів дають 64 компоненти 
дескриптора для всієї області особливої точки. При занесенні в масив, значення 
дескрипторів зважуються на гауссіан з центром в особливій точці 1 з сигмою 3.35. Це 
потрібно для більшої стійкості дескриптора до шумів у віддалених від особливої 
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Стійкі ознаки зображення для ідентифікації конфігурації руки... 


точки областях. Окрім дескриптора, для опису точки використовується знак сліду 
матриці Гесе, тобто величина 5іжп (Дхх -- Дуу). Для світлих точок на темному тлі, слід 
негативний, для темних точок на світлому фоні - позитивний. Таким чином, 5 /ВЕ 


розрізняє світлі і темні плями. 


. У ах 
» ах й сло Яні 
214х| ча У у 
У чу 2 м 
2.14 
Рисунок 9 - Розбивка квадрата Рисунок 10 - Поведінка дескриптора 
на 16 квадрантів для різних зображень 


Реалізація методу для ідентифікації знаків 
дактильної абетки 


Метод 5ОКЕ реалізований у відкритих бібліотеках |3,4). Для проведення екс- 
периментів створено додаток, що використовує відповідні процедури із бібліотеки 
ОрепСУ |4|. Застосовувалась наступна алгоритмічна послідовність: 

1) створювався об'єкт вагкЕРагат класу МСУЗОВЕРагатя з порогом для 
витягування особливостей тільки з великим значенням гессіану (прийнятне значення 
складає приблизно 300-500 і може залежати від середнього локального контрасту 1 
чіткості зображення) з базисним дескриптором по 64 елемента; 

2) створювався об'єкт-зразок зображення, що містив еталони дактильної абетки у 
виконанні конкретної людини; 

3) витягувалися особливості (тодеїКеабигез) із об'єкта-зразка за допомогою 
методу Ехігасі 5О0ВЕ з параметром вигіРагат; 

4) створювався об'єкт єгкаскехг класу 50ВЕТгасКекг з параметром тодеї1- 
Ееабигез длявідслідкування об'єкта; 

5) створювався об'єкт-сцена та витягувались особливості (ітадеЕеабигев) 
методу Ехігасі 50ВЕ з параметром взигіЕРагат; 

6) узгоджувались особливості об'єкта та сцени (паї средЕеабигез) за допомо- 
гою метода МарксрбЕеабиге об'єкта сгасКегс; 

7) фільтрувалися узгоджені особливості (відкидались ті відповідності яких не 
унікальні); 

8) відкидалися узгоджені особливості, масштаб і обертання яких не задоволь- 
няло масштабу і обертанню для більшості об'єктів. 


Висновки 


Проведені експерименти показали досить високу ефективність методу для ідентифі- 
кації дактильних знаків української жестової мови. Верхня частина зображення (рис. 11) 
містить зразки конфігурацій руки при показі дактильної абетки. Нижня частина зобра- 
ження містить сцену з людиною, що показує певну букву. Алгоритм стало розпізнає всі 
дактилеми (букви). 
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Подальші дослідження направленні на вдосконалення та поширення запропонова- 
ного підходу на жести української жестової МОВИ; 


т | 
- || х| 


Явіисек Неї кнноо аа Ен Тип Тов суб Сі "ЗИ брееді роби Резіев", 
а ітаде зіевіалїто СМ) МО, 1, Мо. 3, ро 346-358, 2008. 
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Маїспесі іп 441 пійзесогаіз 


Рисунок 11 - Ідентифікація дактильних знаків української жестової мови за 
допомогою методу 50 ВЕ 


Литература 


1. Вау Н. 50КЕ: 5реедед Юр Кобизі Беашгез / Н. Вау, А. Е55, Т. Тиугеіаагз, І. Уап Сооді // Согаршег 
Мізіоп апа Ппаєе | пдегвіапдпо (СУМПО). - 2008. -- Мої. 110, Мо. 3 - Р. 346-359. 

2. рійри//мммум.спгіземап5деу сот/сотриїег-утіоп-орепяигі.Піті Тпе ОрепП5ОКЕ Сотригг УМізіоп ІлЬгагу. 

3. рири/зоцгсеїогее пец/рго)есів/орепсупргагу/ Ореп Сотриїег УМізіоп ІлрЬгагу. 


О.У. Вагтак, Ти.У. Ктак, К.У. КтусНіпіп 
Утабіе Кеаїигез ої Ітаєез от Іадепійїсапоп ої Напа 


Сопрпяийгапоп ої (Ктаїпіап 5ієп Гапоиа?е 

Тре ргобіега ої райега гесоєпійоп ї5п'ї 50Їуед їп Ти усі. Ноууєуег, Шеге аге 
тефод5 Шаг аПоху арргоасп іо 15 50Їийоп ишпдег 5іспійсапі гезігісйопз. Атопе Ше 
уагіойя геіакед тефодз, Ше тео 5реедед Юр Кобиз5і Беакшгеє (5ОКЕ) дезегуе8 
айепйоп Бесац5е 18 15 опе ої Ше тобі еНесйуєе апа гарід ої Ше тодегп а єогіШПт5. 

Тре ргобіет ої ідепайсацоп ої а рапа сопбшгайоп оп ап ітаєєе Їог |Кгаїпіап 5ісп 
Гапецаєе 15 5шшатед їп із рарег. Мепйопед тео 15 ргорозед Гог 50Іміпє із ргобіет. 
Мефод 5ОКЕ саКез їпіо ассошпі 50пе шпрогіапі роїпіз їог 5иссеєзїиї 50Їийоп: 1) іпдерепаепі 
їот штпаєе 8саїе, 2) іпдерепдепі гот Іосайгацоп ої ап обіесі Шаї ме аге іпіегекіед їп оп ап 
ітаєе, 3) іпдерепдепі йот а БасКогойпа апа пої-е, 4) іпдерепдаепі гот а ргоуесйоп, гокайоп 
апа апеіе ої міему. 

Тре ригрове ої із 5їшшау 15 0 декегтіпе бот їмо йтаєез5 Ше ехізіепсе ої а 5ресійс 
затріє оп Ше 5сепе апа їз Іосайгайоп (опе ітаєе 15 Фе заптріеє апа сопіаїп5 Ше роз5ібіе 
сопйєигайопя ої Фе папа ак 5пому5 Часту! АВС, Фе оїег 15 Ше 5сепе раї сопіаїп5 а папа іп а 
сопісигайоп ої а рагісиіаг 5іяп). Три58 Фе ароуе роїпізя аге песеззагу іо Бе їаКеп їпіо ассошпі. 

Тре ехрегітепія 5помуей 5иїПсіепйу Піп еНісіепсу ої Ше птеоад ої ідепийсацоп ої а 
Часбу! зіпе5 ої ОКтаїпіап 51єп Г.апецаєє. ТПе аїєогійрт 5иссе55ПиПу дегесів аї дассуїз (Іейегз). 

ЕКигірег 5шаїе5 аге 4ігесі аї ігаргоміпе апа ехіепдїпе, зиєде5іед арргоасі (0 дезіитез 
об ОКгаїіап 5ієп І апепаєе. 
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